Tuy rằng Hindenburg giải ngũ vào năm 1911,[5] nhưng nhanh chóng được gọi tái ngũ vào năm 1914 bởi Tổng tham mưu trưởng quân đội Đức bấy giờ là Helmuth von Moltke. Ông được giao chức Tư lệnh Tập đoàn quân VIII (thay cho Max von Prittwitz) với nhiệm vụ chốt chặn các Tập đoàn quân I và II của Nga tại Đông Phổ. Trước đó, do thất bại trước Tập đoàn quân I của quân Nga tại trận Gumbinnen, người tiền nhiệm của Hindenburg là Maximilian von Prittwitz đã có kế hoạch bỏ Đông Phổ và rút về bên kia sông Vistula. Ngay khi nhận chức, Paul von Hindenburg và tham mưu trưởng của mình là Erich Ludendorff đã điều một số sư đoàn từ mặt trận phía Tây về để cứu nguy Đông Phổ. Nhờ có sự tăng viện này và quân Đức đã ngừng rút lui và chuyển sang phản công quân Nga. Kết quả cuối cùng là quân Nga đại bại trong trận Tannenberg rồi trận hồ Masurian sau đó và Đông Phổ hoàn toàn được giải phóng. Với những chiến thắng vang dội này, Hindenburg và Ludendorff trở thành biểu tượng của tài năng của dân tộc Đức.[6] Ông trở thành một vị anh hùng dân tộc được trọng vọng.[7] Ngày 26 tháng 8 năm 1914, Hindenburg được phong cấp bậc Đại tướng (tiếng Đức: Generaloberst).

Đầu tháng 11 năm 1914, Hindenburg được cử làm Tổng chỉ huy Mặt trận phía Đông (Ober-Ost). Cuối tháng 11, sau thắng lợi ở Lozt, Hindenburg được thăng quân hàm Thống chế. Các đơn vị thuộc quyền của ông cũng được tổ chức lại thành 3 Tập đoàn quân VIII, IX, X và một số quân đoàn độc lập.

Cả Hindenburg và Ludendorff đều cho rằng cần tăng cường lực lượng hơn nữa tại mặt trận phía đông nhằm tiêu diệt hoàn toàn quân Nga. Tuy nhiên, Tổng tham mưu trưởng Quân đội Đức là Erich von Falkenhayn lại cho rằng chỉ cần duy trì ở mức để cho quân Nga nản lòng mà rút ra khỏi cuộc đại chiến, và Quân đội Đức sẽ rảnh tay để tập trung làm "chảy máu" quân Pháp trong trận Verdun. Nhưng, đây là một sai lầm lớn của Falkenhayn, dẫn đến thất bại chiến lược của quân Đức tại Verdun và Hindenburg được cử làm Tổng tham mưu trưởng thay cho Falkenhayn vào tháng 8 năm 1916. Erich Ludendorff trở thành chủ nhiệm Tổng cục hậu cần thứ nhất của ông. Các tranh ảnh thời chiến thường cho thấy nhóm "Tam hùng" bao gồm Hoàng đế Wilhelm II cùng hai chiến binh tài năng Hindenburg và Ludendorff, làm lu mờ những bất hòa giữa họ. Tuy Hoàng đế thực chất không ưa Ludendorff và cũng chẳng thích Hindenburg, Hoàng đế lại không làm được nhiều điều để ngăn chặn việc hai người chiến binh này thiết lập một chế độ độc tài quân sự sau khi hai ông thành công trong việc loại trừ Thủ tướng nước Đức khi đó là Theobald von Bethmannn Hollweg ra khỏi Chính phủ Đức vào tháng 7 năm 1917.[6]

Tổng tham mưu trưởng Quân đội Đức Hindenburg cũng chứng kiến các cuộc "tổng tiến công Ludendorff" vào năm 1918 - những cuộc tổng tấn công nhằm giành lấy chiến thắng quyết định cho nước Đức. Tuy nhiên, chúng kết thúc với thảm bại của Quân đội Đức.[8]